CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents
CAST：用于训练可靠长程工具调用智能体的批判感知监督框架
🧭 工具调用 Agent 可靠性训练 ★ 深度解读
Arizona State University · Cisco Research
将稀疏任务结果转化为动作级批判监督，训练小型 critic 与 policy，使 4B/8B 模型在重复运行可靠性上超过大模型
📌 工作参考价值（4 点）
- 在电商智能客服、订单退款等高危长程工具调用场景，可借鉴 CAST 的「离线标注 + 训练轻量 critic + 在线验证」模式：用多智能体框架从历史轨迹中生成动作级对错标签和理由，训练一个 4B/8B 的小 critic 替代 GPT-4 等大模型做实时动作验证，大幅降低 token 与延迟，同时提升校准度（误报率从 46.8% 降到 13.6%）。
- 构建训练数据时，利用 privileged information（如真实动作轨迹）让标注更可靠，但 critic 和 policy 在训练与推理时只接触 step-local context，这种不对称设计值得迁移到业务 guardrail 中：离线有更多信息可用，在线判断只能基于部分观测。
- 用 critic 验证后的成功轨迹（critique-enriched successful trajectories）对 policy 做 SFT，可以显著降低 policy 对反馈的抵抗率（约下降一半），让模型在推理时更愿意根据验证信号修正动作，从而提升重复运行一致性（pass^4）。
- 实验表明，经 CAST 训练的小模型在 pass^4 上超过 Qwen3-32B 和 GPT-OSS-120B，说明在可靠性优先的在线服务中，可以考虑用专门训练的 4B/8B 模型替代大模型，节省成本同时保证稳定性。